# 행렬-벡터 연산

행렬-벡터산은 선형대수의 핵심 개념 중 하나로, 데이터과학 머신러닝, 컴퓨터 그래픽스, 물리학 등 다양한 분야에서 광범위하게 활용됩니다. 특히 고차원 데이터를 처리하고 변환하는 데 있어 행렬과 벡터의 연산은 계산 효율성과 수학적 표현의 간결성을 제공합니다. 본 문서에서는 행렬-벡터 연산의 정의, 기본 연산 종류 계산 방법, 활용 사례 및 주의사항을 중심으로 설명합니다.

## 개요

행렬-벡 연산은 행렬과 벡터 간의 수학적 연산을 의미합니다. 주로 행렬과터의 곱셈(Matrix-Vector Multiplication)이 중심이 되며, 이는 선형 변환(Linear Transformation)을 표현하는 기본 도구입니다. 예를 들어, 데이터 포인트를 고차원 공간에서 저차원으로 투영하거나, 신경망의 각 층에서 입력 데이터를 가중합하는 과정 등이 이에 해당합니다.

이러한 연산은 수치 계산 라이브러리(예: NumPy, TensorFlow)에서 고도로 최적화되어 있으며, 대규모 데이터 처리에 필수적입니다.

## 기본 개념

### 행렬과 벡터의 정의

- **벡터**(Vector): 크기와 방향을 가진 1차원 배열. 일반적으로 \( n \times 1 \) 형태의 열벡터로 표현됨.
  예: \( \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \)

- **행렬**(Matrix): \( m \times n \) 형태의 2차원 배열로, \( m \)개의 행과 \( n \)개의 열로 구성.
  예: \( A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \)

### 호환성 조건

행렬 \( A \)와 벡터 \( \mathbf{v} \)의 곱 \( A\mathbf{v} \)가 정의되기 위해서는 행렬의 **열 수**와 벡터의 **차원 수**(요소 개수)가 같아야 합니다.  
즉, \( A \)가 \( m \times n \) 행렬이라면, \( \mathbf{v} \)는 \( n \times 1 \) 벡터여야 하며, 결과는 \( m \times 1 \) 벡터가 됩니다.

## 주요 연산

### 행렬-벡터 곱셈 (Matrix-Vector Multiplication)

가장 중요한 연산으로, 행렬 \( A \)와 벡터 \( \mathbf{v} \)의 곱은 다음과 같이 계산됩니다:

\[
A\mathbf{v} = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{m1} & a_{m2} & \cdots & a_{mn}
\end{bmatrix}
\begin{bmatrix}
v_1 \\
v_2 \\
\vdots \\
v_n
\end{bmatrix}
= \begin{bmatrix}
a_{11}v_1 + a_{12}v_2 + \cdots + a_{1n}v_n \\
a_{21}v_1 + a_{22}v_2 + \cdots + a_{2n}v_n \\
\vdots \\
a_{m1}v_1 + a_{m2}v_2 + \cdots + a_{mn}v_n
\end{bmatrix}
\]

결과는 \( m \)차원의 새로운 벡터입니다.

#### 예시

\[
A = \begin{bmatrix} 2 & 3 \\ 1 & 4 \end{bmatrix}, \quad
\mathbf{v} = \begin{bmatrix} 5 \\ 6 \end{bmatrix}
\Rightarrow
A\mathbf{v} = \begin{bmatrix} 2\cdot5 + 3\cdot6 \\ 1\cdot5 + 4\cdot6 \end{bmatrix} = \begin{bmatrix} 28 \\ 29 \end{bmatrix}
\]

### 스칼라 곱과 벡터 덧셈

행렬-벡터 연산의 보조 연산으로 다음이 포함됩니다:

- **스칼라 곱**: 벡터의 각 원소에 스칼라 값을 곱함. \( c \cdot \mathbf{v} \)
- **벡터 덧셈**: 동일한 차원의 두 벡터를 원소별로 더함. \( \mathbf{u} + \mathbf{v} \)

이들은 주로 정규화, 가중합, 활성화 함수 전처리 등에 사용됩니다.

## 데이터과학에서의 활용

### 1. 선형 회귀 (Linear Regression)

선형 회귀 모델에서 예측값 \( \hat{y} \)는 다음과 같이 표현됩니다:

\[
\hat{y} = \mathbf{X}\boldsymbol{\beta}
\]

여기서:
- \( \mathbf{X} \): 입력 데이터 행렬 (\( n \times p \))
- \( \boldsymbol{\beta} \): 회귀 계수 벡터 (\( p \times 1 \))
- \( \hat{y} \): 예측값 벡터 (\( n \times 1 \))

이 연산은 모든 샘플에 대한 예측을 벡터화하여 동시에 수행할 수 있어 계산 효율이 높습니다.

### 2. 신경망의 전방 전파 (Forward Propagation)

신경망의 각 층에서는 입력 벡터 \( \mathbf{x} \)에 가중치 행렬 \( W \)를 곱하고 편향 벡터 \( \mathbf{b} \)를 더합니다:

\[
\mathbf{z} = W\mathbf{x} + \mathbf{b}
\]

이 연산은 활성화 함수에 입력되기 전의 선형 결합을 생성하며, 전체 네트워크의 핵심입니다.

### 3. 주성분 분석 (PCA)

PCA는 데이터의 공분산 행렬에 고유벡터를 곱하여 데이터를 주성분 공간으로 투영합니다. 이 과정에서도 행렬-벡터 연산이 반복적으로 사용됩니다.

## 계산 효율성과 최적화

대규모 데이터에서 행렬-벡터 연산은 **벡터화**(Vectorization)를 통해 반복문 없이 고속으로 수행됩니다. 예를 들어, Python의 NumPy를 사용하면 다음과 같이 간단히 구현 가능합니다:

```python
import numpy as np

A = np.array([[2, 3], [1, 4]])
v = np.array([5, 6])
result = A @ v  # 또는 np.dot(A, v)
print(result)  # 출력: [28 29]
```

이러한 벡터화는 CPU/GPU의 SIMD(Single Instruction, Multiple Data) 연산을 활용하여 성능을 극대화합니다.

## 주의사항

- **차원 불일치**: 행렬과 벡터의 차원이 맞지 않으면 연산이 불가능합니다.
- **메모리 사용**: 대규모 행렬 연산은 메모리 소모가 크므로, 희소 행렬(Sparse Matrix) 등의 기법을 고려해야 합니다.
- **수치 안정성**: 조건이 나쁜 행렬(ill-conditioned matrix)을 사용할 경우 수치 오차가 커질 수 있습니다.

## 관련 개념

- **행렬-행렬 곱셈**
- **내적**(Dot Product)
- **선형 독립성**
- **고유값과 고유벡터**

## 참고 자료

- Strang, G. (2016). *Introduction to Linear Algebra*. Wellesley-Cambridge Press.
- NumPy 공식 문서: [https://numpy.org/doc/](https://numpy.org/doc/)
- Goodfellow, I., et al. (2016). *Deep Learning*. MIT Press.

행렬-벡터 연산은 데이터과학의 기초이자 핵심 도구로서, 이를 정확히 이해하고 효율적으로 활용하는 것은 고급 알고리즘 구현과 모델 최적화에 있어 필수적입니다.